Mehrere wichtige Konzepte des maschinellen Lernens leiten sich aus der Wahrscheinlichkeitstheorie und der Statistik ab und gehen auf das 18. Jahrhundert zurück. Im Jahr 1763 legte der englische Statistiker Thomas Bayes ein mathematisches Theorem für die Wahrscheinlichkeit fest, das als Bayes-Theorem bekannt wurde und ein zentrales Konzept in einigen modernen Ansätzen des maschinellen Lernens bleibt.
Donald Hebb veröffentlicht "The Organization of Behavior" und stellt Theorien über die Interaktion zwischen Neuronen vor, die später für die Entwicklung des maschinellen Lernens entscheidend waren.
Hebb schrieb: "Wenn eine Zelle wiederholt beim Abfeuern einer anderen hilft, entwickelt das Axon der ersten Zelle synaptische Knöpfe (oder vergrössert sie, wenn sie bereits vorhanden sind) in Kontakt mit dem Soma der zweiten Zelle." Wenn man Hebbs Konzepte auf künstliche neuronale Netze und künstliche Neuronen überträgt, kann sein Modell als eine Möglichkeit beschrieben werden, die Beziehungen zwischen künstlichen Neuronen (auch als Knoten bezeichnet) und die Veränderungen einzelner Neuronen zu verändern. Die Beziehung zwischen zwei Neuronen/Knoten verstärkt sich, wenn die beiden Neuronen/Knoten gleichzeitig aktiviert werden, und schwächt sich, wenn sie getrennt aktiviert werden. Das Wort "Gewicht" wird verwendet, um diese Beziehungen zu beschreiben, und Knoten / Neuronen, die dazu neigen, sowohl positiv als auch beide negativ zu sein, werden als stark positive Gewichte beschrieben. Die Knoten, die tendenziell entgegengesetzte Gewichte haben, entwickeln starke negative Gewichte (z. B. 1x1 = 1, -1x-1 = 1, -1 x 1 = -1).
Der Turing-Test: Die Arbeiten des englischen Mathematikers Alan Turing in den 1940er Jahren waren voller Ideen zur maschinellen Intelligenz. "Können Maschinen denken?" fragte er. 1950 schlug er einen Test für Maschinenintelligenz vor, der später als Turing-Test bekannt wurde, bei dem eine Maschine als "intelligent" bezeichnet wird, wenn ihre Antworten auf Fragen einen Menschen überzeugen könnten.
Dean Edmonds und Marvin Minsky bauen die SNARC-Maschine, die erste Maschine mit einem künstlichen neuronalen Netzwerk, basierend auf Hebbs Modell.
Arthur Samuel schrieb das erste Computer-Lernprogramm. Das Programm war das Spiel der Dame, und der IBM-Computer verbesserte sich im Spiel, je mehr er spielte, untersuchte, welche Züge Gewinnstrategien ausmachten, und integrierte diese Züge in sein Programm.
Der Begriff "künstliche Intelligenz" wurde während des Dartmouth Workshops im Jahr 1956 geboren, der weithin als die Gründungsveranstaltung der künstlichen Intelligenz als Feld gilt. Der Workshop dauerte sechs bis acht Wochen und wurde von Mathematikern und Wissenschaftlern besucht, darunter der Informatiker John McCarthy, Marvin Minsky, Nathaniel Rochester und Claude Shannon.
Im Jahr 1957 kombinierte Frank Rosenblatt - am Cornell Aeronautical Laboratory - Donald Hebbs Modell der Gehirnzellinteraktion mit Arthur Samuels maschinellen Lernbemühungen und schuf das Perzeptron. Das Perzeptron war ursprünglich als Maschine und nicht als Programm geplant. Die Software, die ursprünglich für die IBM 704 entwickelt wurde, wurde in einer speziell angefertigten Maschine namens Mark-1-Perzeptron, die für die Bilderkennung konstruiert worden war. Dadurch wurden die Software und die Algorithmen übertragbar und für andere Maschinen verfügbar. Das Mark I Perzeptron, das als der erste erfolgreiche Neuro-Computer beschrieben wurde, entwickelte einige Probleme mit gebrochenen Erwartungen. Obwohl das Perzeptron vielversprechend erschien, konnte es viele Arten von visuellen Mustern (wie Gesichter) nicht erkennen, was zu Frustration führte und die Erforschung neuronaler Netzwerke zum Stillstand brachte. Es sollte mehrere Jahre dauern, bis die Frustrationen von Investoren und Finanzierungsagenturen nachliessen
Die Nearest Neighbor (NN) -Regel ist ein Klassiker in der Mustererkennung, der in den 1960er Jahren in mehreren Forschungsarbeiten auftauchte, insbesondere in einem Artikel von T. Cover und P. Hart im Jahr 1967. Der Algorithmus kartierte eine Route für reisende Verkäufer, beginnend mit einer zufälligen Stadt, stellte aber sicher, dass sie alle Städte während einer kurzen Tour besuchen.
Der britische Science Research Council veröffentlichte 1973 den Lighthill-Bericht von James Lighthill, der eine sehr pessimistische Prognose für die Entwicklung von Kernaspekten in der KI-Forschung präsentierte. Darin heisst es: "In keinem Teil des Feldes haben die bisher gemachten Entdeckungen die grossen Auswirkungen gehabt, die damals versprochen wurden." Infolgedessen kürzte die britische Regierung die Mittel für die KI-Forschung an allen bis auf zwei Universitäten. Diese Periode reduzierter Finanzierung und Zinsen wird als KI-Winter bezeichnet.
Stanford-Studenten bauten den Stanford Cart, einen ferngesteuerten, autonomen Wagen, der selbstständig navigieren und vermeiden konnte, gegen Objekte zu stossen. Es wurde entwickelt, um die Fernsteuerung eines Mondrovers zu untersuchen.
Kunihiko Fukushima veröffentlichte eine Forschungsarbeit über das Neocognitron, ein künstliches neuronales Netzwerk (ANN) mit mehreren Schichten zur Erkennung komplexer Muster. Seine Arbeit inspirierte später ein Convolution Neural Network (CNN) für Deep Learning.
Gerald Dejong führt das Konzept des Explanation Based Learning (EBL) ein, bei dem ein Computer Trainingsdaten analysiert und eine allgemeine Regel erstellt, der er folgen kann, indem er unwichtige Daten verwirft.
Terrence Sejnowski erfand NETtalk, ein ML-basiertes Computerprogramm, das kognitive Aufgaben wie ein Mensch ausführen kann. Mit geschriebenem englischem Text und phonetischen Transkriptionen als Input lernte es, wie ein Baby zu "sprechen".
Paul Smolensky erfand die eingeschränkte Boltzmann-Maschine (RBM) zur Vorhersage von Wahrscheinlichkeiten verschiedener möglicher Ergebnisse auf der Grundlage von Eingabedaten. Heute wird dieser Algorithmus häufig für KI-gesteuerte Empfehlungen und Preisvorhersagen verwendet.
Die Arbeit am maschinellen Lernen verlagert sich von einem wissensgesteuerten Ansatz zu einem datengesteuerten Ansatz. Wissenschaftler beginnen, Programme für Computer zu erstellen, um grosse Datenmengen zu analysieren und aus den Ergebnissen Schlussfolgerungen - oder "Lernen" - zu ziehen.
Robert Schapire führt Boosting-Algorithmen zur Verbesserung von KI-Modellen ein. Sie bestehen aus mehreren schwachen Klassifikatoren, die zusammen ein starkes Lernmodell bilden. Boosting-Algorithmen werden heute verwendet, um riesige Datenmengen zu analysieren und Erkenntnisse aus den Ergebnissen zu gewinnen.
Der Forscher Gerald Tesauro entwickelte ein Programm, das auf einem künstlichen neuronalen Netzwerk basierte, das in der Lage war, Backgammon mit Fähigkeiten zu spielen, die zu den besten menschlichen Spielern passten.
Tin Kam Ho führte einen Random-Forest-Algorithmus ein, der Entscheidungsbäume aus mehreren KI-gestützten Vorhersagen erstellt. Heutzutage hilft es, genaue Vorhersagen aus Daten zu treffen und die Entscheidungsfindung zu verbessern.
IBMs Deep Blue wurde das erste Computer-Schachspielsystem, das einen amtierenden Schachweltmeister schlug. Deep Blue nutzte die Rechenleistung in den 1990er Jahren, um gross angelegte Suchen nach potenziellen Zügen durchzuführen und den besten Zug auszuwählen.
Geoffrey Hinton schuf den Begriff "Deep Learning", um neue Algorithmen zu erklären, die Computern helfen, Objekte und Text in Bildern und Videos zu unterscheiden.
Fei-Fei Li entwickelte ImageNet, eine bildbasierte Datenbank zur Verbesserung von ML und KI, die es ihnen ermöglicht, aus realen Daten zu lernen.
Microsoft Kinect kann 20 menschliche Features mit einer Rate von 30 Mal pro Sekunde verfolgen, sodass Benutzer über Bewegungen und Gesten mit dem Computer interagieren können.
IBMs Watson gewann ein Spiel der US-Quizshow Jeopardy gegen zwei seiner Champions. Im selben Jahr wurde Google Brain sein tiefes neuronales Netzwerk entwickelt, das Objekte wie eine Katze entdecken und kategorisieren kann.
In diesem Jahr erschien eine einflussreiche Forschungsarbeit von Alex Krizhevsky, Geoffrey Hinton und Ilya Sutskever, in der ein Modell beschrieben wurde, das die Fehlerquote in Bilderkennungssystemen drastisch reduzieren kann. In der Zwischenzeit entwickelte Googles X Lab einen maschinellen Lernalgorithmus, der in der Lage ist, YouTube-Videos autonom zu durchsuchen, um die Videos zu identifizieren, die Katzen enthalten.
Facebook hat DeepFace entwickelt, ein Gesichtserkennungssystem, das in der Lage ist, Gesichter in Bildern zu erkennen und Menschen genau zu identifizieren. Google führt Sybil ein, ein ML-System zur Vorhersage des Nutzerverhaltens, das in erster Linie für bessere Werbung entwickelt wurde. Chatbot Eugene Goostman bestand den Turing-Test, obwohl er nur 33% der Wettbewerbsrichter davon überzeugte, dass es sich um einen Menschen handelte.
Amazon bringt eine eigene Plattform für maschinelles Lernen auf den Markt.
Microsoft erstellt das Distributed Machine Learning Toolkit, das die effiziente Verteilung von Machine Learning-Problemen auf mehrere Computer ermöglicht.
Googles Algorithmus für künstliche Intelligenz schlägt einen professionellen Spieler beim chinesischen Brettspiel Go, das als das komplexeste Brettspiel der Welt gilt und um ein Vielfaches härter ist als Schach. Der von Google DeepMind entwickelte AlphaGo-Algorithmus konnte im Go-Wettbewerb fünf von fünf Spielen gewinnen.
Forscher der Carnegie Mellon University schufen ein System namens Libratus und besiegten nach 20 Spieltagen im Jahr 2017 vier Top-Spieler bei No Limit Texas Hold'em. Forscher der University of Alberta berichteten ebenfalls über ähnliche Erfolge mit ihrem System Deepstack.
Auch im täglichen Leben finden wir maschinelles Lernen wieder. Ob bei Social Media, E-Commerce oder Medizin, maschinelles Lernen findet hier überall Anwendung. Somit ist es nicht mehr wegzudenken und wir können damit rechnen, dass maschinelles Lernen in den nächsten Jahren zunehmend unser persönliches Leben begleitet.